最近，OpenAI 的 Sora 视频生成系统的研究负责人 Tim Brooks 在社交媒体上宣布，他将加入 Google DeepMind，继续在视频生成和世界模拟器方面开展工作。Brooks 表示，他对与 DeepMind 这样一支才华横溢的团队合作感到非常兴奋，并对自己在 OpenAI 度过的美好两年时光表示感谢，尤其是在 Sora 项目上所取得的成就。图源备注:图片由AI生成，图片授权服务商MidjourneySora 自今年2月发布以来，引起了广泛关注，并对竞争对手形成了压力。Brooks 的转会被视为 Google 在人工智能视频生成领域扩展实力的一部分。D

Google DeepMind的最新研究Gemma Scope揭开了语言模型黑箱的秘密，通过稀疏自编码器(SAEs)分解和重构语言模型的激活，旨在揭示背后有意义的特征。Gemma Scope采用JumpReLU SAEs，通过控制激活，优化重建损失并正则化活跃的潜在特征数量，以揭示语言模型的内部机制。研究发现，残差流SAEs的性能通常较低，序列长度对SAE性能有显著影响，不同数据集子集的表现各异，DeepMind mathematics上表现最佳。Gemma Scope的发布不仅有助于理解SAEs，还能改进实际任务性能，对SAEs进行红队测试，提高AI的可解释性和安全性。

Google DeepMind发布了一项引领性的研究，中心围绕其提出的百万级专家模型——Mixture，该模型采用了革新性架构在Transformer基础上跨出重要一步。Mixture通过让从十万多个微型专家中高效快速进行稀疏检索，实现了在保持计算效率的同时释放Transformer架构潜力的目标。核心亮点在于参数效益高的专家检索机制，通过乘积密钥技术分离计算成本与参数计数，PEER架构在语言模型任务中展现出卓越性能，优于密集式FFW，粗粒度MoE和PKM层。实证结果显示，通过调整专家数量与活跃专家数量，Mixture模型性能显著提升，特别是其在降低困惑度方面的出色表现。这项技术突破性地展示了个性化和智能化能力在提升转化率和用户满意度上的潜力，对于AIGC领域具有重要影响。

["Google DeepMind利用大型语言模型成功破解数学未解问题","使用AI工具FunSearch发现了可验证且有价值的新信息","FunSearch是一种可以在数学领域发现解决方案的工具","通过与一个大型语言模型Codey结合使用","FunSearch还成功解决了bin packing问题"]

{"点 1":"Google DeepMind 推出 VisualisingAI 项目，提供多样化、高质量的 AI 图像。","点 2":"合作艺术家创作 AI 图像，打破刻板印象。","点 3":"图像已被 100 多个国家使用，浏览量超 1 亿，下载超过 80 万次。"}